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Статья посвящена динамическим процессам в сфере искусственного интеллекта, а именно в задачах 
нейродинамики. Рассматриваются проблемы устойчивости переходных процессов в нейронных сетях, 
динамика которых может быть описана системами слабонелинейных разностных уравнений. Результаты 
сформулированы в терминах прямого метода Ляпунова. 
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Введение и анализ основных иссле- 
дований в предметной области 

В настоящее время перед научным 
сообществом на передний план все боль- 
ше выходят проблемы создания новых 
эффективных информационных техноло- 
гий для анализа и обработки больших 
информационных потоков. Человечество 
столкнулось с парадоксальной ситуацией, 
что с ростом информации наблюдается 
снижение осведомленности, а это услож- 
няет аналитическую деятельность в раз- 
личных областях. Следовательно, возни- 
кает востребованность появления новых 
областей науки и техники, одной из кото- 


рых является искусственный интеллект 
[1-4], основные направления развития ко- 
торого были определены в фундамен- 
тальных публикациях [1-3]. Одним из ос- 
новополагающих направлений развития 
искусственного интеллекта является мо- 
делирование процессов, происходящих в 
человеческом мозге. Поскольку боль- 
шинство процессов происходит в течение 
определенного периода времени, т.е. про- 
цессы являются динамическими, то мето- 
ды построения и исследования математи- 
ческих моделей динамических систем 
имеют особое значение. Достаточно эф- 
фективно с этим справляется одно из 
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подразделений, если так можно выра- 
зиться, искусственного интеллекта — 
нейронные сети [1,2]. 

Исследования по искусственным 
нейронным сетям [5-7] связаны с тем, что 
способ обработки информации челове- 
ческим мозгом в корне отличается от ме- 
тодов, применяемых обычными компью- 
терами. В искусственных нейронных се- 
тях все действия проводятся с искус- 
ственными нейронами. То есть можно 
сказать, что нейронная сеть представляет 
собой машину, моделирующую способ 
обработки человеческим мозгом конкрет- 
ной задачи. Эта сеть обычно реализуется 
с помощью электронных компонентов 
или моделируется определенной компью- 
терной программой. Существенным воп- 
росом при проектировании нейронных 
сетей является процесс их обучения. По- 
строение математических моделей, опи- 
сывающих явления обучения и функцио- 
нирования искусственных нейронных се- 
тей является частью проблемы искус- 
ственного интеллекта. Естественно, что 
все процессы, связанные с нейросетями: 
их обучение и функционирование, явля- 
ются динамическими процессами, кото- 
рые, в свою очередь, могут быть как не- 
прерывными, так и дискретными по вре- 
мени. Простейшими математическими 
аппаратами, используемыми для описа- 
ния динамических процессов, являются 
функционально-дифференциальные урав- 
нения и системы уравнений. 

Настоящая работа, в каком-то смыс- 
ле, является продолжением исследований 
качества переходных нейродинамических 
процессов в сетях Хопфилда, представ- 
ленных авторами в статье [8]. Естествен- 
но, что любые нейросети могут работать 
как в непрерывном, так и в дискретном 
времени, в зависимости от того, какая мо- 
дель использовалась для описания нейро- 
нов [9-12]. Непрерывный режим работы 
основывается на аддитивной модели 
[5,8]; дискретный режим работы основан 
на модели МакКаллока-Питца [13]. Мож- 
но вывести соотношение между устой- 
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чивыми состояниями дискретной и не- 
прерывной моделей, переопределив соот- 
ношение между входом и выходом ней- 
рона таким образом, чтобы истинными 
были две следующие упрощенные 
характеристики. 

1. Выход нейрона имеет следующие 

асимптотические значения: 


+1 для у, =%, 


х,- 7-й нейрон, состояние которо- 
го определяется х, =ф;(»,), у = 
вход функции активации }-го 


нейрона. 

2. Средняя точка функции активации 
нейрона находится в начале коорди- 
нат, т.е. 

ф;(0)=0. 

Нейросетям в литературе, посвя- 
щенной ассоциативной или контентно ад- 
ресуемой памяти (сошмепё а4агеззае 
тетогу), уделяется довольно большое 
внимание [5,7,11,14]. В сетевой модели 
ассоциативной памяти фиксированные 
точки соответствуют сохраняемым обра- 
зам. Однако, синаптические веса сети, ко- 
торые обеспечивают нахождение таких 
фиксированных точек, неизвестны, и за- 
дача заключается в их определении. Ос- 
новной функцией ассоциативной памяти 
является восстановление образа (объек- 
та), сохраненного в памяти, в ответ на 
представление неполной или зашумлен- 
ной версии этого же объекта. Дискретные 
сети, выступающие в качестве ассоциа- 
тивной памяти, имеют обычно две фазы 
работы: фазу сохранения и фазу извлече- 
ния. Эти обе фазы должны всегда схо- 
диться к некоторому устойчивому состо- 
янию, не говоря уже о самом процессе 
обучения построенной искусственной 
нейросети. 

Постановка проблемы 

Данная статья представляет собой 
исследование проблем устойчивости ре- 
шений разностных систем, описывающих 
динамику нейронных сетей [5,9,11,12]. 
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Исследование устойчивости систем раз- 
ностных уравнений проводилось во мно- 
гих работах. Например, можно указать ра- 
боты [14-17]. В последнее время матема- 
тический аппарат систем дифференциаль- 
ных и разностных уравнений стал исполь- 
зоваться при исследовании динамики ней- 
ронных сетей [18-20]. В настоящей работе 
рассматриваются проблемы устойчивости 
стационарного положения равновесия не- 
линейной разностной системы. со «слабой 
нелинейностью». Под системой со слабой 
нелинейностью понимается система с диа- 
гональной линейной частью, нелинейные 
части которой удовлетворяют условию 
Липшица с «малыми» постоянными. При 
исследовании устойчивости положений 
равновесия используется прямой метод 
Ляпунова с функциями квадратичного 
вида [19,22,23]. 

Основные результаты. Система со 
слабой нелинейностью Сведение к систе- 
мес нулевым положением равновесия 

Рассмотрим нелинейную систему 
разностных уравнений со «слабой нели- 
нейностью». Под термином «слабая нели- 
нейность» понимается система с диаго- 
нальной линейной частью и нелинейнос- 
тями, удовлетворяющими условиям Лип- 
шица с малыми постоянными 


У (КО =аву, (+ У. Л, (У) +1, 
7: 


Е. (р 


1=Ьи — постоянные, 


Здесь а,, Г; 
КО), Б]=Ьт — нелинейные функции 
одного аргумента, удовлетворяющие ус- 
ловию Липшица с постоянными [4, 


р 1=Ьп, т.е. 
ВО+мр-Вор Ул, Бут. 
(2) 


Предположим, что система уравнений 


(-аду-УВОр=Г,1=Ъ" (3) 
= 


Ду; 


имеет решением точку Мо(у°, они) | 


Произведем замену 


у®=ж@® чу, =1м. 
После подстановки в систему (1) 
получаем 


Ж(Е++у, =а;(х,(Ю+ у ров), 


(4) 
Перепишем систему (4) в виде 
хк + =азхи(®) + 


У Ю+ У) 
= 


[ау 7-1 : (5) 
ря 


Обозначив 
Е (ху) = ух + У) - 1,0), 
ь]=Ьт, 
И, используя соотношения (3), получаем, 
систему (5), которая принимает вид 


х(к+0=ах(Ю+ УЕ, (х,(®)). (6) 
1: 
Поскольку 
Е; (0)=0, 5] =Ъл, 


то после этой замены исследование 
устойчивости положения равновесия 
Мо(0,У5,....У0) системы (1) свелось к 
исследованию устойчивости нулевого 
положения равновесия системы (6). 

Исследование устойчивости нуле- 
вого положения равновесия 

Исследование устойчивости нулево- 
го положения равновесия системы (1) бу- 
дем проводить с использованием метода 
функций Ляпунова. Поскольку система 
(6) имеет диагональную линейную часть, 
то функция Ляпунова имеет вид суммы 
квадратов. Имеет место следующий 
результат. 

Теорема 1. Пусть система уравне- 


ний (3) имеет решение Мо(у?, 5...) и 


существуют 
Про >0.,..., й, >0 при которых выполня- 


постоянные 1 >0, 


ются неравенства 
и, 1-ай)-у,>0, 1=Ьп, (7) 
где 
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п 
и =й Киа, |+ У ВУК СЫ +Ь, (8) 
т К; 
п 
К =>. 
р 
Тогда положение равновесия 


Мо(у°,у5,....У®) системы (1) является 

глобально асимптотически устойчивым. 
Доказательство. Как было показа- 

но выше, исследование устойчивости по- 


Мо, у2.-->Ун) 
системы (1) можно свести к исследова- 
нию устойчивости нулевого положения 
равновесия системы (6). Для его исследо- 
вания воспользуемся вторым методом 
Ляпунова. Поскольку линейная часть яв- 
ляется диагональной матрицей, функцию 
Ляпунова выберем в виде квадратичной 
формы 

Ус, хо.) = 1х? + 5х2 ++ ихо. 


ложения равновесия 


Ее первая разность в силу системы 
(6) имеет вид 
ДУ (х! (К), хо (К),....х(К))= 


= [ая (© + УЕ (х (КР + 
= 
Во [азохо (К) У, Е, (х (КУР +... 
= 


[ати (К) + У Ех (ЮР — 
= 


[#412 (©) + рох2 (К +. их (®]. 
Преобразуем полученное выраже- 
ние, выделив квадратичные составляю- 
щие, следующим образом 
ДУ(х (К), хо (К),....х„ (К)) 


п 
=-> лан) (® + 
11 


+1 {2аим (ЮУ. Е ;(х (К) + 
у 


ХА; }+ 
= 


+ й>5{2а22х> (ЮУ, (х; (К) + 
РЕ 
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[> Ро; (х (ЮГ }+...+ 
= 
+ пипл ХЕ: (х, (К)) + 
7= 


[>` (Е; (х; (У } 
= 


Используя условия (2), наложенные 


на функции /,(®), = п, получим сле- 


дующее неравенство 
ДУС» (©, хо (Ю,....х,(Ю) < 


< но п; а- а): (К 
1=1 
+ ху) 
1+ 
+ к }+ 
= 


+152 {2| ао «(КУ Г.Х (0 + 
Е 


5 Де +... 
1 


п 
чи (ат [х, (КУ их; ® 
1 


+1 х (©) } = 
= 


= Уна -а2)л2 +51 (400)+ 
11 
+5 (х(К))-+...+5„(х®)), 
где 


Зику = пам Ух КЮ + 
= 
+В ку 
= 
$ (К) = в {ах (1х, + 
= 


У Вх}, 2 
= 


5, (м) = {2 ат „(ЮУ 1х ® + 
= 
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+. 1х (ЮГ }. 
= 


Рассмотрим первое — слагаемое 
$; (х(К)). Используя очевидное неравенство 


2АВ< А? + В?, (9) 
преобразуем 5, (х(К)) следующим образом 


$1 (Ю)< ва. В ар ++ 
А 
+. Ух] + 
= 
+ фа + РЗ 


+ (© )+...+ ие + к, ОР + 
+4263 +5)... 
+ о, + „ЮР... 


+ ОР + [х, ©} 
Собрав члены при одинаковых 
квадратах фазовых переменных, получа- 
ем следующее выражение 
Я@(®)= 


вау; +11+ [1 и 
= 


В 


п 
ван»; +11+7, + 
ри 


+ (аи +1[> + 
Поет, 
+ (ан 3 +3 + 
Гз (411 +Г12 + [44 +...+ из а 
+ [ая +, + 
0 
Обозначим 


Тогда слагаемое 5, (х(К)) будет иметь вид 


Гй 
к) =викана+ е. + + 


ок ео ре + 
тк] но Е 
+1 К (ЮГ 
Или 
51 (х(К)) = 


Е а +10 х(Ю + 


| п [а и 


Ск” Ср +. С” С +0 „”} 


Аналогично для других слагаемых 
будут иметь место соотношения 
52 (х(К))= 


а а] ЕО + 
Е ыы хр +...+ 


в] ыы „(®}, 


5, (х(®))= 


= р, т ПСР т 
К» 


А 
+ ме +1 (© +...+ 


п 


+ [а 


пп 


где 


Вернемся к оценке первой разности. 
Сгруппировав коэффициенты при одина- 
ковых квадратах, получаем следующее 

ДУ(х! (К), х> (Ю,...х, (К) < 


< -у в, 1-аз)х2 (К) + Уи 


11 11 
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п а.. 
И =ЙиКиан| Ук : в 
и К! 
и у |“ 
72 = Каз + ИК +1, 
НЕ 2 
у [а 
п = К [ати + ХК и С, + . 
11 п 
И, если будут выполняться 


неравенства 
й,(1-а2)-у;>0, 1=Ъл, 

то первая разность функции Ляпунова 
вдоль решений системы является отрица- 
тельно определенной функцией и, следо- 
вательно, нулевое положение равновесия 
системы (6) будет асимптотически 
устойчивым. А 

Замечание 1. Из неравенств (7) 
видно, что необходимым условием асим- 
птотической устойчивости решений к по- 
ложению равновесия является «малость» 
нелинейных членов, т.е. постоянных 
Липшица. 

При получении условий асимптоти- 
ческой устойчивости использовалось не- 
равенство (9). Благодаря этому условия 
(7), (8) имели достаточно простой и легко 
проверяемый вид. Условия устойчивости 
можно сформулировать также в терминах 
положительной определенности симмет- 
ричной матрицы, входящей в первую раз- 
ность функции Ляпунова. Эти условия не 
такие «жесткие», но они не имеют такого 


явного вида. Введем следующие 
обозначения 
Ва М4 МИ 
о. 
В. ‚ 
ИУ [2 #7 п 
2 Вань 
0 шо 20 
б- [4 
бу. аа, 70 
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1121 [2122 +. ГМ 
5 2221 [222 -.. [222т 
я" › 
ово 2122 с Гоп 
07 Ж 0 
Г 2Г [2,0 
ей Е 21 22 2п | 
0 15 0 
а (10) 
ГЕ Ги [2 РЁ ит 
$ РЁ Ги 2 Ёп 
по › 
Рил Г Руа [2 ь Вий Ри 
оо я 
0 0 Г, 
С, р п2 
Ги Гр -.. 2 


Теорема 2. Пусть система уравне- 
ний (3) имеет решение Мо(у°, у5,...,У0) и 
существуют постоянные п: >О, 


й>› >0.,..., И, >0, при которых главные 


диагональные миноры Д,;>0, 1=1п 
матрицы 

п 

+ 
положительно определены. 


Тогда положение равновесия 
Мо(у0, 5.....У0) системы (1) является 
глобально асимптотически устойчивым. 


Здесь @а«{Л(й,а)} — диагональная 
матрица с элементами й,,(1- а7 ),‚ а матри- 
цы 9,, С,, 1=1п определенны в (10). 

Доказательство. Как и в предыду- 
щей теореме 1, сведем исследование ус- 
тойчивости положения равновесия 
Мо(у9, у5,....У0) системы (1) к исследо- 
ванию устойчивости нулевого положения 


равновесия системы (6) и воспользуемся 


квадратичной функцией Ляпунова 


2 2 2 
Ус 5 Х2,.. хи) = й11х! + Й>2х5 Рун яЕ их 
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Как было показано ранее, ее первая раз- 
ность в силу системы (6) имеет вид 
ДУ(х(К)) = 


= У, ( а?) +91 (К) 
1=1 


+5> (х(К))-+...+5 „(х(К)), (12) 
где 5,(%(К)), = п определены ранее. 
Распишем слагаемое 5, (х(К)). 
Получаем 
51 (х(К))= 28 ах, (®]х 
ж [1 | ++ 1455 (®+...+ Тик, (© + 


+1 [м (® + 22+... +В, хи (ФР = 


— 2 а + 
21 аи |142 | (К х>(К)+...+ 
+2 аи м (®х, (|+ 
+В ОР + р +...+ 
Ил [Х (Г т 
+2 114142 (+ 
+ 23а (3 (®)| +...+ 
+2 и к» (|+ 
+2 23| (КЗ + 
+ 24244 (Как) +...+ 
+ 21112, |х (Ю]х (+... 
2 и их (КиК + 
С С 
+21 1112 4и [Хи (®]х» (К) 
Собрав коэффициенты при одинаковых 


фазовых координатах, получим следую- 
щее выражение: 


бр = аи |+ а + 
(ЮР Е ЮР + 
+2 (а |+ раю (+ 
+2143 (аи | Гал а Оз (+... 
2 аа, (ал |+ аа к „+ 
+211 114>143|%5 (хз (®)] + 
+2 ое + + 
+21 1142 4и хо (К)х„(®] + ... 
+ 2 12| хи-2 (К)хи(®)|+ 


и и] + 
+2 и [хи 

Таким образом, зависимость 
$1 (х(К)) имеет вид квадратичной формы 

ЯК) =х" (ЮСх®) 
переменных х’(®) = (х, (К), х> (®),....х„ (®)), 
С =ви5, +аи С, с матрицами 51, С, 
определенными в (10). 

Распишем второе слагаемое 5.(х(К)) 
аналогично предыдущему. —Соберем 
коэффициенты при одинаковых фазовых 
координатах и получим, что зависимость 
приобретет вид квадратичной формы 

55 (К) =х" (ЮСох®) 
переменных х’(®)= (х, (®),х> (Ю,....х„(Ю), 
С =й›2[5› +|а»›| 651, с матрицами 5», 
С ‚ определенными в (10). 

Проделав аналогичные действия с 
остальными слагаемыми 5,(х(К)), 1=3,п, 
длЯ последнего члена получим 
5, (жк =х” (СХ, С, =, © 
матрицами 5„, С„, определенными в (10). 
Таким образом, выражение (12) для 
первой разности функции Ляпунова в 
силу системы с — использованием 


зависимостей (10), имеет вид 
ДУ(х(К)) = 


п 
=-У и, а-а)х2(®+ 
11 


АТ (05:4 бк. 
11 


Условием отрицательной опреде- 
ленности первой разности функции Ляпу- 
нова является положительная определен- 
ность матрицы 


Со = Фа&{А(й,а)}- у [5; + аз [С › 
ЧЕТ 


где фа {Л(,а} диагональная матрица с 
элементами й, а и матрицами 5,, 
С., [=1п, определенными в (10). А усло- 
вием положительной определенности 


симметричной матрицы является положи- 
тельность ее диагональных элементов. 7“ 
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Пример. Рассмотрим динамику дис- 
кретной сети состоящей из двух нейронов 
(Рис. 1). 


Рис. 1. Двухнейронная однослойная сеть 
прямого распространения 


Фактически ее представляет система раз- 
ностных уравнений на плоскости 

х(к +1) =аих(® + Е ®)) + Е>(У(®), 

УСК +1=ар2У(®) + Ел (х®)) + Е› (У). 
Функции Ри (м(®)), ЕЮ, ЕЮ), 
Е››(У(К) непрерывны и удовлетворяют 
условиям Липшица с постоянными [,, 
по соответствующим аргументам. Тогда 
условия (7), (8) имеют вид 


д <: а-ай, 72<й2-а2), 


К =: +2, К = +1, 
где 
— |“ 
й = Кан + КИС +0 
1 
|2 


+152 К [42 (— +1, 
22К 2142 ( а ) 
|| 


— ++ 
К 


2 = ПК ао | + В К1о( 


|452] 
+1>2К Г +1 
К› 
Заключение 
Рассмотрены системы разностных 
уравнений с выделенной отрицательной 
диагональной частью и нелинейностью 
специального вида. Такие системы встре- 
чаются при исследовании динамики ней- 
ронных сетей, которые функционируют в 
дискретном времени. Получены условия 
асимптотической устойчивости положе- 
ния равновесия. Исследования устойчи- 
вости проведены с использованием пря- 
мого метода Ляпунова. Благодаря подхо- 
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ду (ГМП, все условия имеют вид конст- 
руктивно проверяемых матричных нера- 
венств. Для наглядности результатов в 
работе приведен пример, иллюстрирую- 
щий простоту условий в случае двух ней- 
ронов в сети. 
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ВЕЗОМЕ 


р.Уа. КВизатоу, А.У. ЗвабутКо, 
В. Ро7ва, У. Моуобла 

Тпуезйсайоп оЁ Фе дупапис$ оЁ пе 
зоте <1а55$ оЁ пеигопе гергезетие4 Бу 
уееКпоп!теаг аегепсе едиаНоп$ 

Тве агасе 1$ а за4у оЁ Фе дупап!с$ оЁ 
Чзсгее пеига! пебуо $, фе Гапсбопте оЁ 
У\Ыср сап Бе дезсиБе изте Фе тафета- 
Оса! аррагава$ оЁ АШегепсе зузетл$ оЁ едиа- 
00105 У а зреса| буре оЁ попйпеагиу. Зисв 
пебуогк$ ш рагасчаг аге ойеп изе4 аз то- 
4е]з оЁ аззосайуе тетогу. Тре за ыМШшу 
ргоЫепаз оЁ Фе %айопагу еда пит зае оЁ 
а попПпеаг ЧЁегепсе зузет УИ а “\уеаК 
поптеагбу” аге сопз1еге4. А зузет м а 
уеаК попПпеагиу 15$ ипаег$юо4 аз а зумет 
У а Фагопа! Ппеаг рай, попПпеаг ад 41опз 
© \ЫсЬ зай$Ру Фе Гарзсби. соп@ оп у 
“эта” сопзапб. 

ТБе Аиесе Гуарипоу шефоЯ \а$ 
свозеп аз Ше гезеагсВ тебо4. ТБе апп оЁ Фе 
шуезисаноп 1$ © езаБ$В Ше Гасе оЁ азутр- 
‘юйс заБШиу оЁ зошйоп$. Еизь, а зубет \иВ 
а \еаК поп-Ппеагиу оЁа зреса| буре гедисез 
© а зу$бет УЛ а 2его едибпат роз!оп. 
'ТБеп изше фе ца4опа! Гуарипоу ГапсНоп 
оЁ а диадгайс Гогт, зайсепе соп@1юопз юг 
фе оба! азутрюйс за БШиу оЁ 15 зоаНоп 
\аз$ ргоуез. Соп@юоп$ Вауе фе Юпп оЁ 
сейаш шедиаПиез, Шеу аге гаег “Баг” т 
фе зепзе Фа Шеу гедише заб${апна| зта]- 
пез$ оЁ поппеаг {егт$, 1.е. ГарзсВи соп$- 
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(ап. Ригфег, фе ха Бу соп@йоп$ аге Гог- 
шшаеа 11 {еглл$ оЁ Фе розауе аейпцепез$ оЁ 
а зресла| зуптейлс таблх, уиеН шсде4 т 
фе Йгзё @егепсе оЁ Фе Гуарипоу Рапсйоп. 
Трезе соп@оп$ аге по! зо “Вага”, Биё Феу 
Чо по! Вауе засВ ап ехрИси опт. АЕ Фе епа 
ОЕ Ше агае Феге 15 ап ехатре оЁ а \о- 
4итепз1опа!| зузет, фе ригрозе оЁ \/Шсь 1$ ю 
детопзгае Фе у1Ииу апа аррИе4 сопз- 
гасйуепез$ оР фе оМате4 гези 5. 
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